Poda de los árboles

El proceso anterior es bastante bueno a la hora de explicar las variaciones en un conjunto de entrenamiento pero puede fallar a la hora de realizar nuevas predicciones porque en ocasiones se llegan a formar tantas divisiones que el modelo de sobre ajusta a los datos. Pero este problema puede ser solucionado construyendo un sub-árbol el cual puede minimizar la varianza y simplificar la interpretación admitiendo un pequeño sesgo.

Para encontrar el sub-árbol apropiado consideramos una secuencia de árboles indexados por un parámetro de ajuste no negativo \(\alpha\).

En otras palabras sea \(T_0\) el árbol completo, debemos encontrar un sub-árbol \(T\subset T _0\) el cual permita minimizar la siguiente fórmula.

\[RSS = \sum _{m=1}^{|T|} \sum_{i:x_i \in R_m}(y_i-\hat{y}_{R_m})^2+\alpha |T|\]

• \(|T|\) corresponde al número de nodos terminales del sub-árbol.
• \(R_m\) es el rectangulo corresponde al \(m-esimo\) nodos terminal.

El parámetro de ajuste \(\alpha\) controla una compensación entre los componentes del sub-árbol y su ajuste a los datos de entrenamiento. Cuando \(\alpha = 0\), entonces el subárbol \(T\) simplemente será igual a \(T_0\), Sin embargo, a medida que aumenta \(\alpha\), hay un precio que pagar por tener un árbol con muchos nodos terminales, por lo que la cantidad tenderá a minimizarse para un subárbol más pequeño. Podemos seleccionar un valor de \(\alpha\) utilizando un conjunto de validación o utilizando validación cruzada. Luego volvemos a la conjunto completo de datos y obtenemos el sub-árbol correspondiente a \(\alpha\).

Implemenatción en R

library(tree)

## Warning: package 'tree' was built under R version 3.5.2

library(kableExtra)

## Warning: package 'kableExtra' was built under R version 3.5.2

base <- read.delim("https://raw.githubusercontent.com/ydmarinb/Poster/master/Base.txt")
kable(head(base),"markdown")

modelo <- tree(CEC~.,base )
summary(modelo)

## 
## Regression tree:
## tree(formula = CEC ~ ., data = base)
## Variables actually used in tree construction:
## [1] "tiempo"  "Mezclas"
## Number of terminal nodes:  7 
## Residual mean deviance:  35.26 = 2222 / 63 
## Distribution of residuals:
##     Min.  1st Qu.   Median     Mean  3rd Qu.     Max. 
## -16.6700  -2.3680   0.3982   0.0000   2.1850  21.3800

plot(modelo)
text ( modelo , pretty =3, cex = 0.8)

Poda del arbol

modelo1 <- cv.tree(modelo)
modelo1

## $size
## [1] 7 6 5 4 3 2 1
## 
## $dev
## [1]  5051.464  5084.274  5909.136  5460.564  7042.454 11668.084 37695.427
## 
## $k
## [1]       -Inf   406.0552   639.2566   662.1616  2639.5432  5167.0823
## [7] 25032.5779
## 
## $method
## [1] "deviance"
## 
## attr(,"class")
## [1] "prune"         "tree.sequence"

En la información anterior encontramos el número de nodos y la desviación del error de validación cruzada para cada número específico de nodos.

plot(modelo1$size , modelo1$dev, type ="b",xlim=c(0,8),ylim = c(0,39000))

En el gráfico anterior se observa la varianza del error para la validación cruzada, se busca que esta sea lo más baja posible. El criterio para seleccionar el número de nodos óptimo es el tomar el nodo anterior a el cual en el que se observe un aumento en la varianza.

A continuación se presenta el metodo para realizar un validación cruzada loocv sobre el modelo anterior

library(DMwR)

## Warning: package 'DMwR' was built under R version 3.5.2

user.rpart <- function(form, train, test) {
    require(tree)
    model <- tree(formula = form,data =  train)
    preds <- predict(model, test)
  
}

## Now the evaluation
eval.res <- loocv(learner('user.rpart'),
                  dataset(CEC~.,base),
                  loocvSettings(1234),verbose = T)

## 
##  LOOCV experiment with verbose =  FALSE  and seed = 1234 
## Iteration: **********************************************************************

summary(eval.res)

## 
## == Summary of a Leave One Out Cross Validation  Experiment ==
## 
##  LOOCV experiment with verbose =  FALSE  and seed = 1234 
## 
## * Data set ::  base
## * Learner  ::  user.rpart  with parameters:
## 
## * Summary of Experiment Results:

##                70
## avg     137.56547
## std      22.44596
## min     100.86833
## max     176.98200
## invalid   0.00000

Implementación en R

base <- read.csv("../Bases de datos/banknote-authentication.csv")
base$class <- as.factor(base$class)
kable(head(base), "markdown")

arbol <- tree(class ~ ., base)
summary(arbol) 

## 
## Classification tree:
## tree(formula = class ~ ., data = base)
## Number of terminal nodes:  11 
## Residual mean deviance:  0.1022 = 139.1 / 1361 
## Misclassification error rate: 0.01166 = 16 / 1372

La varianza reportada esta dada por la expresión

\[-2\sum_m\sum_kn_{mk} \ log \ \hat{p}_{mk}\]

plot ( arbol )
text ( arbol , cex = 0.5)

set.seed (3)
arbol.cv <- cv.tree(arbol, FUN = prune.misclass)
arbol.cv

## $size
## [1] 11 10  8  6  4  3  2  1
## 
## $dev
## [1]  32  31  44  68 127 160 179 610
## 
## $k
## [1]  -Inf   1.0   7.0  11.5  25.5  38.0  58.0 409.0
## 
## $method
## [1] "misclass"
## 
## attr(,"class")
## [1] "prune"         "tree.sequence"

par(mfrow = c(1 ,2))
plot( arbol.cv$size , arbol.cv$dev , type ="b")
plot( arbol.cv$k , arbol.cv$dev , type ="b")

arbol.corte <- prune.misclass(arbol , 10)
plot(arbol.corte)
text(arbol.corte, cex = 0.7)

Detección de fraudes

Una aplicación comercial ampliamente utilizada es la detección de estados financieros fraudulentos (FFS).

Kirkos y col. (2007) han creado un modelo de árbol de decisión para identificar y detectar FFS. En su estudio, se seleccionaron 76 empresas manufactureras griegas y se recopilaron sus estados financieros publicados, incluidos los balances y los estados de resultados, con fines de modelación. El modelo de árbol creado muestra que todos los casos sin fraude y el 92% de los casos de fraude se han clasificado correctamente. Tal hallazgo indica que los árboles de decisión pueden hacer una contribución significativa para la detección de FFS debido a una tasa altamente precisa.

Consumo de energía

La investigación del consumo de energía se convierte en un tema importante ya que ayuda a las empresas de servicios públicos a identificar la cantidad de energía necesaria.

Los árboles de decisión son los preferidos. Esto se debe al hecho de que una estructura jerárquica proporcionada por los árboles de decisión es útil para presentar el nivel profundo de información y conocimiento. Tso y Yau (2007) crean un modelo de árbol de decisión para identificar las relaciones entre un hogar y sus consumos de electricidad. Los resultados de su modelo de árbol ilustran que la cantidad de miembros del hogar es el factor más determinante del consumo de energía en verano, y tanto la cantidad de aire acondicionado como el tamaño de un piso son los segundos factores más importantes.

Otros casos

Existen muchos otros casos de exito en la aplicacion de arboles de desicion como lo son:

Predecir fechas de alta ocupación para hoteles, Calificación crediticia, riesgo de delito, diagnóstico médico, predicción de fallas.